home *** CD-ROM | disk | FTP | other *** search
/ Reverse Code Engineering RCE CD +sandman 2000 / ReverseCodeEngineeringRceCdsandman2000.iso / RCE / Svd Messageboard Arcive / ephemeric / data / MBPREP.ZIP / mbarchow.txt < prev    next >
Encoding:
Text File  |  1999-08-17  |  1.4 KB  |  32 lines
  1. MBRD ARCHIVING - TECHNOLOGY
  2. the main idea is:
  3. dload ALL the mb list of headers (page by page, as many as they are)
  4. chew the info into straright forward form in a text file , e.g. level;originator;email;subject;date/time
  5. then compare this to the available fail (from previous update), and save it.
  6. dump new-only messages into proper form into a html 
  7. , and fire the html to teleport pro, or any other webdownloader (webcopy, or deep's bot, or gnu's wget)
  8. after that, zip everything into proper file(s)
  9. and you'll need another script to recreate the html-main-list from the database you have
  10. plus i have a script to filter out all the crap from single posts (e.g. reply form, ad's etc)
  11.  
  12. and that's it!
  13.  
  14. so.. how-to-use-the-scripts:
  15.  
  16. dload the main pages
  17. save as + join into one big "html" (simply copy a+b+c+d... res)
  18. extract the prev-ver of the tree
  19. ** msgbrd.pl that_file
  20. //produces getonly.htm & updated tree in the upper directory
  21. ** web-copier getonly.htm
  22. ** msg2.pl mbs*.*   (all the files)
  23. // will filter out the crap and save them as number-of-the-mssg.htm
  24. ** zip properly
  25. to recreate, 
  26. ** tre2msg.pl mbxxxx.tre,
  27.  and put the result mbxxxx.htm & all the single messages from the zip into one directory. this last script have sort of help, if run without args
  28.  
  29. all the rest is utilities or previous versions
  30. tre2msg.php is the online php2 ver (altern.org/ephemerides)
  31.  
  32. the best way to figure out how the above works is to use it ;)